分析大会用データ

分析大会で利用を推奨する新型コロナウィルスに関するデータです。すべてオンラインで最新データが取得できます。

データ 区分 種別 形式 DL 備考
厚生労働省オープンデータ 公開 集計 CSV 集計データを個別ファイルで公開
Covid19 Japan 公開 個票・集計 JSON GitHubにて公開
JAG Japan 公開 個票 CSV GIS処理用データ付き

 
その他のデータを利用した場合にはデータの出典と概要説明を明示してください。

データ概略

厚生労働省オープンデータ(公開/集計/公式)

日本の公式データ。国内事例(チャーター便を除く)のみの集計(サマリ)データでCSV形式。

厚生労働省オープンデータの注意点

厚生労働省のデータはファイルにより単日であったり集計値であったりしますので、サイトの注意書をよく読んでください。意外とトラップがあるので河野行政改革担当大臣またはデジタル庁(仮称)に期待。

データ 備考
陽性者数 新規に陽性と判断された者の数
PCR検査実施人数
入院治療等を要する者の数 入院待機中・確認中を除く
退院又は治療解除となった者の数
死亡者数
PCR検査の実施件数 暫定数値であり後日変更される可能性あり

Covid19 Japan(公開/個票・集計/非公式)

Exploratory EDA Salonなどで紹介されている有志によるJSON形式データ。個票データは素直に扱えますが集計データはネストしています。

Covid19 Japan データの注意点

GitHub からjsonliteパッケージを利用して以下のコードで読み込んでください。

library(jsonlite)
path <- "https://raw.githubusercontent.com/reustle/covid19japan-data/master/"
path <- paste0(path, "docs/patient_data/")

path %>% 
  paste0("latest.json") %>% 
  readr::read_lines() %>% 
  paste0(path, .) %>% 
  jsonlite::fromJSON()

個票データへのパスですが表示の都合上、分割しています。
各列(変量、フィーチャー)の定義はこちら

JAG Japan (公開/個票/非公式)

ジャッグジャパンによるGISプロモーションも兼ねて公開しているデータ。

JAG Japan データの注意点

特徴的なのはW列(23列)目以降にGIS処理用の変量(フィーチャー)が用意されている点です。これらの変量は分析には必要ありませんので、削除しておくことをおすゝめします。また、インスタンスには多数の揺れが含まれている点に注意してください。

なお、読み込み時は以下のオプションを指定しないとWinodws環境ではエラーになります。

  readr::read_csv(locale = readr::locale(encoding = "UTF-8"), guess_max = 5000)

各列(変量、フィーチャー)の定義は こちら

注意事項など

データを扱う上でのポイントなど

  • tidyverseパッケージを必ずインストール
    • readrならびにjsonliteパッケージはtidyverseパッケージに含まれます
  • CSVの読み込みにはreadr::read_csv関数で
    • ファイルにURLを指定すれば読み込むことができます
    • 文字化けする場合はlocaleオプションを指定してください
    • Warningなどが表示された場合は必ず読んで、確認してください
  • 読み込んだデータは各列(変量)のデータ型を必ず確認
    • 特に文字(chr)型になっている変量には注意してください
  • 本資料のコードがGoogle Colabで動作することは確認済

分析を行う際の注意点

  • 集計データを扱う場合は、集計条件をよく確認
    • 思い込みで扱うと思わぬ落とし穴があります
  • 個票データを扱う場合は、各列(変量)の持つ意味をよく確認
    • 個票データは非公式のデータですので、作成者により表記・意味が変わります
  • データがよく分からない場合はCSVファイルに書き出して眺める
    • readr::write_excel_csv(df, filepath) で書き出せます
  • 都道府県の地方区分などのデータは こちら
    • Wikipediaと総務省統計局の情報を元に作成してあります
    • 推定人口はH30年時点のもので単位は千人

Enjoy!